Pada tahun 1511 Portugis menyerang Melaka. Oleh kerana serangan bertambah hebat, pembesar-pembesar telah menasihatkan Sultan Mahmud berpindah ke Istana hinggapnya iaitu istana Kayu Ara yang terletak di Lembah Bertam (Bertam Hulu). Padawaktu itu Sultan Mahmud thelah menyerahkan kerajaannya kepada anaknya Sultan Ahmad.
Ketika di Istana Kayu Ara, Tun Teja telah gering. Waktu itu serangan Portugis bertambah hebat dan berita Portugis hendak menyerang Bertam melalui sungai Melaka talah sampai kepada sultan. Sultan telah diminta mengundurkan diri ke Bentayan (Muar).

Tun Teja Gering

Pada waktu iru Tun Teja sangat gering, Sultan Mahmud telah memerintahkan orang-orangnya menyediakan tandu untuk menandu Tun Teja ke Bentayan. Dari Bertam sultan Mahmud dan pengikut-pengikutnya telah bergerak ke Batu Hampar. Bersama-sama Sultan Mahmud ialah Seri Nara Diraja Tun Hamzah (Penasihat Raja) dan Sang Sura (Ketua Angkatan Perang). Selain dari itu ialah isteri-isteri, kaum kerabat diraja, pebesar-pembesar lain dan pengikut setianya. Dari Batu hampar mereka dipercayai, berundur memalui Bukit Katil, Duyung, Teluk Mas, serkam, Umbai dan ke Merlimau. Sepanjang jalan merentas hutan dan denai mereka sampai di satu kawasan tidak jauh dari pantai.